Nel campo dell'Intelligenza Artificiale, la modellazione di sequenze sposta l'attenzione dalle istantanee statiche ai flussi temporali. I compiti standard di machine learning spesso presumono che i punti dati siano Indipendenti e Identicamente Distribuiti (IID), il che significa che l'ordine dei campioni non influenza il risultato.
La modellazione di sequenze rifiuta esplicitamente questo approccio, concentrandosi su tre pilastri fondamentali:
- Violazione dell' Invarianza alle Permutazioni: Nei dati tabellari, l'ordine delle colonne è arbitrario. Nelle sequenze, l'ordine è la caratteristica principale. Scambiare "Il gatto ha mangiato il topo" con "Il topo ha mangiato il gatto" cambia fondamentalmente il significato semantico di riferimento nonostante i token siano identici.
- Autoregressive Proprietà: Si presume che un'osservazione al tempo $t$ sia matematicamente condizionata dalla sua storia ($t-1, t-2, \dots, 1$). Ciò richiede probabilità di transizione per catturare come l'informazione si evolve.
- Mappatura a Lunghezza Variabile: A differenza delle griglie fisse di 28x28 pixel, sequenze come frasi o onde sismiche sono elastiche. I modelli devono elaborare input di lunghezza $N$ e produrre output di lunghezza $M$ utilizzando parametri coerenti.